//package com.sugon.ww
//
//import org.apache.spark.sql.{DataFrame, SaveMode, SparkSession}
//
//
//object SparkSftpDemo {
//
//  def main(args: Array[String]): Unit = {
//    val spark = SparkSession.builder()
//      .appName("CapCollisionQuerier")
////      .master("local[*]") // 将此行注释掉，打jar包，放在linux上即可执行
//      .enableHiveSupport()
//      .getOrCreate()
//
////    val host = args(0) //远程机器的ip
////    val username = args(1) //登录远程机器的用户名
////    val password = args(2) //登录远程机器的密码
////    val outputFile = args(3) //远程机器存放文件的路径
//
//    val host = "10.0.13.231" //远程机器的ip
//    val username = "root" //登录远程机器的用户名
//    val password = "admin1234@sugon" //登录远程机器的密码
//    val outputFile = "/opt/spark_cs/abc.csv" //远程机器存放文件的路径
//
//    /**
//      *  df.write.mode("overwrite").parquet("/tmp/ww/cs")
//      *     peopleSchemaRDD.write.format("orc").save("hdfs://localhost:9000/user/xb/warehouse/artist_orc/adf")
//      */
//    val df: DataFrame = spark.sql("select * from ysk.ivna_0603")
//
//    df.mapPartitions(
//
//      iterator => {
//
//        val result = iterator.map(data=>{
//          /* do some work with data */
//          println(data)
//
//        }).toList
//        //return transformed data
//        result.iterator
//        //now convert back to df
//      }
//
//    ).toDF()
//
//    df.mapPartitions(
//      iterator => {
//
//        val result = iterator.map(data=>{/* do some work with data */}).toList
//        //return transformed data
//        result.iterator
//        //now convert back to df
//      }
//
//    ).toDF()
//
//    df.write
//      .format("com.springml.spark.sftp") //一定要加
//      .option("host", host)
//      .option("username", username)
//      .option("password", password)
//      .option("header", true) //如果将df列名一同写出到文件中，此项设置为true
//      .option("fileType", "csv") //如果将df列名一同写出到文件中，此项设置为csv,不能为txt
//      .mode(SaveMode.Overwrite)
//      .save(outputFile)
//
////      df.write
////          .format("com.springml.spark.sftp") //一定要加
////          .option("host", host)
////          .option("username", username)
////          .option("password", password)
////          .option("fileType", "parquet") //如果将df列名一同写出到文件中，此项设置为csv,不能为txt
////          .mode(SaveMode.Overwrite)
////          .save(outputFile)
//
//    spark.stop()
//  }
//}
